Дизайн компіляторів: Основи лексичного аналізу

Дизайн компіляторів — це захоплююча та ключова галузь комп'ютерних наук, яка лежить в основі значної частини сучасної розробки програмного забезпечення. Компілятор — це міст між вихідним кодом, зрозумілим людині, та інструкціями, що виконуються машиною. Ця стаття заглибиться в основи лексичного аналізу, початкової фази процесу компіляції. Ми розглянемо його мету, ключові поняття та практичне значення для майбутніх розробників компіляторів та інженерів програмного забезпечення по всьому світу.

Що таке лексичний аналіз?

Лексичний аналіз, також відомий як сканування або токенізація, є першою фазою компілятора. Його основна функція — читати вихідний код як потік символів і групувати їх у значущі послідовності, що називаються лексемами. Кожна лексема потім класифікується на основі її ролі, в результаті чого утворюється послідовність токенів. Уявіть це як початковий процес сортування та маркування, який готує вхідні дані для подальшої обробки.

Уявіть, що у вас є речення: `x = y + 5;` Лексичний аналізатор розбив би його на такі токени:

• Ідентифікатор: `x`
• Оператор присвоєння: `=`
• Ідентифікатор: `y`
• Оператор додавання: `+`
• Цілочисловий літерал: `5`
• Крапка з комою: `;`

Лексичний аналізатор по суті ідентифікує ці основні будівельні блоки мови програмування.

Ключові поняття лексичного аналізу

Токени та лексеми

Як згадувалося вище, токен — це класифіковане представлення лексеми. Лексема — це фактична послідовність символів у вихідному коді, яка відповідає шаблону для токена. Розглянемо наступний фрагмент коду на Python:

            if x > 5:
    print("x is greater than 5")
            

              
                Copy
              
            
          

Ось кілька прикладів токенів та лексем з цього фрагмента:

• Токен: КЛЮЧОВЕ_СЛОВО, Лексема: `if`
• Токен: ІДЕНТИФІКАТОР, Лексема: `x`
• Токен: ОПЕРАТОР_ВІДНОШЕННЯ, Лексема: `>`
• Токен: ЦІЛОЧИСЛОВИЙ_ЛІТЕРАЛ, Лексема: `5`
• Токен: ДВОКРАПКА, Лексема: `:`
• Токен: КЛЮЧОВЕ_СЛОВО, Лексема: `print`
• Токен: РЯДКОВИЙ_ЛІТЕРАЛ, Лексема: `"x is greater than 5"`

Токен представляє *категорію* лексеми, тоді як лексема — це *фактичний рядок* з вихідного коду. Парсер, наступний етап компіляції, використовує токени для розуміння структури програми.

Регулярні вирази

Регулярні вирази (regex) — це потужний і стислий спосіб опису шаблонів символів. Вони широко використовуються в лексичному аналізі для визначення шаблонів, яким повинні відповідати лексеми, щоб бути розпізнаними як конкретні токени. Регулярні вирази є фундаментальним поняттям не тільки в дизайні компіляторів, але й у багатьох галузях комп'ютерних наук, від обробки тексту до мережевої безпеки.

Ось деякі поширені символи регулярних виразів та їх значення:

• `.` (крапка): Відповідає будь-якому одному символу, крім нового рядка.
• `*` (зірочка): Відповідає попередньому елементу нуль або більше разів.
• `+` (плюс): Відповідає попередньому елементу один або більше разів.
• `?` (знак питання): Відповідає попередньому елементу нуль або один раз.
• `[]` (квадратні дужки): Визначає клас символів. Наприклад, `[a-z]` відповідає будь-якій малій літері.
• `[^]` (заперечені квадратні дужки): Визначає заперечений клас символів. Наприклад, `[^0-9]` відповідає будь-якому символу, який не є цифрою.
• `|` (вертикальна риска): Представляє чергування (АБО). Наприклад, `a|b` відповідає або `a`, або `b`.
• `()` (круглі дужки): Групує елементи разом і захоплює їх.
• `\` (зворотний слеш): Екранує спеціальні символи. Наприклад, `\.` відповідає буквальній крапці.

Розглянемо кілька прикладів того, як регулярні вирази можна використовувати для визначення токенів:

• Цілочисловий літерал: `[0-9]+` (Одна або більше цифр)
• Ідентифікатор: `[a-zA-Z_][a-zA-Z0-9_]*` (Починається з літери або підкреслення, за якими слідують нуль або більше літер, цифр або підкреслень)
• Літерал з плаваючою комою: `[0-9]+\.[0-9]+` (Одна або більше цифр, за якими слідує крапка, за якою слідує одна або більше цифр) Це спрощений приклад; більш надійний regex враховував би експоненти та необов'язкові знаки.

Різні мови програмування можуть мати різні правила для ідентифікаторів, цілочислових літералів та інших токенів. Тому відповідні регулярні вирази потрібно коригувати. Наприклад, деякі мови можуть дозволяти символи Unicode в ідентифікаторах, що вимагає більш складного regex.

Скінченні автомати

Скінченні автомати (СА) — це абстрактні машини, що використовуються для розпізнавання шаблонів, визначених регулярними виразами. Вони є основним поняттям у реалізації лексичних аналізаторів. Існує два основних типи скінченних автоматів:

• Детермінований скінченний автомат (ДСА): Для кожного стану та вхідного символу існує рівно один перехід до іншого стану. ДСА легше реалізувати та виконувати, але їх може бути складніше побудувати безпосередньо з регулярних виразів.
• Недетермінований скінченний автомат (НСА): Для кожного стану та вхідного символу може бути нуль, один або кілька переходів до інших станів. НСА легше будувати з регулярних виразів, але вони вимагають більш складних алгоритмів виконання.

Типовий процес лексичного аналізу включає:

1. Перетворення регулярних виразів для кожного типу токена в НСА.
2. Перетворення НСА в ДСА.
3. Реалізація ДСА як сканера, керованого таблицею.

ДСА потім використовується для сканування вхідного потоку та ідентифікації токенів. ДСА починає роботу в початковому стані і читає вхідні дані символ за символом. На основі поточного стану та вхідного символу він переходить у новий стан. Якщо ДСА досягає стану прийняття після прочитання послідовності символів, ця послідовність розпізнається як лексема, і генерується відповідний токен.

Як працює лексичний аналіз

Лексичний аналізатор працює наступним чином:

1. Читає вихідний код: Лексер читає вихідний код символ за символом з вхідного файлу або потоку.
2. Ідентифікує лексеми: Лексер використовує регулярні вирази (або, точніше, ДСА, отриманий з регулярних виразів) для ідентифікації послідовностей символів, що утворюють дійсні лексеми.
3. Генерує токени: Для кожної знайденої лексеми лексер створює токен, який включає саму лексему та її тип (наприклад, ІДЕНТИФІКАТОР, ЦІЛОЧИСЛОВИЙ_ЛІТЕРАЛ, ОПЕРАТОР).
4. Обробляє помилки: Якщо лексер зустрічає послідовність символів, яка не відповідає жодному визначеному шаблону (тобто її неможливо токенізувати), він повідомляє про лексичну помилку. Це може бути недійсний символ або неправильно сформований ідентифікатор.
5. Передає токени парсеру: Лексер передає потік токенів наступній фазі компілятора — парсеру.

Розглянемо цей простий фрагмент коду на C:

            int main() {
  int x = 10;
  return 0;
}
            

              
                Copy
              
            
          

Лексичний аналізатор обробить цей код і згенерує наступні токени (спрощено):

• КЛЮЧОВЕ_СЛОВО: `int`
• ІДЕНТИФІКАТОР: `main`
• ЛІВА_ДУЖКА: `(`
• ПРАВА_ДУЖКА: `)`
• ЛІВА_ФІГУРНА_ДУЖКА: `{`
• КЛЮЧОВЕ_СЛОВО: `int`
• ІДЕНТИФІКАТОР: `x`
• ОПЕРАТОР_ПРИСВОЄННЯ: `=`
• ЦІЛОЧИСЛОВИЙ_ЛІТЕРАЛ: `10`
• КРАПКА_З_КОМОЮ: `;`
• КЛЮЧОВЕ_СЛОВО: `return`
• ЦІЛОЧИСЛОВИЙ_ЛІТЕРАЛ: `0`
• КРАПКА_З_КОМОЮ: `;`
• ПРАВА_ФІГУРНА_ДУЖКА: `}`

Практична реалізація лексичного аналізатора

Існує два основних підходи до реалізації лексичного аналізатора:

1. Ручна реалізація: Написання коду лексера вручну. Це забезпечує більший контроль та можливості оптимізації, але є більш трудомістким і схильним до помилок.
2. Використання генераторів лексерів: Застосування інструментів, таких як Lex (Flex), ANTLR або JFlex, які автоматично генерують код лексера на основі специфікацій регулярних виразів.

Ручна реалізація

Ручна реалізація зазвичай включає створення кінцевого автомата (ДСА) та написання коду для переходу між станами на основі вхідних символів. Цей підхід дозволяє детально контролювати процес лексичного аналізу і може бути оптимізований для конкретних вимог до продуктивності. Однак він вимагає глибокого розуміння регулярних виразів і скінченних автоматів, і його може бути складно підтримувати та налагоджувати.

Ось концептуальний (і дуже спрощений) приклад того, як ручний лексер може обробляти цілочислові літерали на Python:

            def lexer(input_string):
    tokens = []
    i = 0
    while i < len(input_string):
        if input_string[i].isdigit():
            # Found a digit, start building the integer
            num_str = ""
            while i < len(input_string) and input_string[i].isdigit():
                num_str += input_string[i]
                i += 1
            tokens.append(("INTEGER", int(num_str)))
            i -= 1 # Correct for the last increment
        elif input_string[i] == '+':
            tokens.append(("PLUS", "+"))
        elif input_string[i] == '-':
            tokens.append(("MINUS", "-"))
        # ... (handle other characters and tokens)
        i += 1
    return tokens
            

              
                Copy
              
            
          

Це рудиментарний приклад, але він ілюструє основну ідею ручного читання вхідного рядка та ідентифікації токенів на основі шаблонів символів.

Генератори лексерів

Генератори лексерів — це інструменти, що автоматизують процес створення лексичних аналізаторів. Вони приймають на вхід файл специфікації, який визначає регулярні вирази для кожного типу токена та дії, які потрібно виконати при розпізнаванні токена. Потім генератор створює код лексера цільовою мовою програмування.

Ось деякі популярні генератори лексерів:

• Lex (Flex): Широко використовуваний генератор лексерів, часто застосовується разом з Yacc (Bison), генератором парсерів. Flex відомий своєю швидкістю та ефективністю.
• ANTLR (ANother Tool for Language Recognition): Потужний генератор парсерів, який також включає генератор лексерів. ANTLR підтримує широкий спектр мов програмування і дозволяє створювати складні граматики та лексери.
• JFlex: Генератор лексерів, спеціально розроблений для Java. JFlex генерує ефективні та високо налаштовувані лексери.

Використання генератора лексерів пропонує кілька переваг:

• Скорочення часу розробки: Генератори лексерів значно скорочують час та зусилля, необхідні для розробки лексичного аналізатора.
• Покращена точність: Генератори лексерів створюють лексери на основі чітко визначених регулярних виразів, що зменшує ризик помилок.
• Підтримуваність: Специфікація лексера зазвичай легше читається та підтримується, ніж написаний вручну код.
• Продуктивність: Сучасні генератори лексерів створюють високо оптимізовані лексери, які можуть досягти відмінної продуктивності.

Ось приклад простої специфікації Flex для розпізнавання цілих чисел та ідентифікаторів:

            %%
[0-9]+      { printf("INTEGER: %s\n", yytext); }
[a-zA-Z_][a-zA-Z0-9_]* { printf("IDENTIFIER: %s\n", yytext); }
[ \t\n]+  ; // Ignore whitespace
.           { printf("ILLEGAL CHARACTER: %s\n", yytext); }
%%

            

              
                Copy
              
            
          

Ця специфікація визначає два правила: одне для цілих чисел і одне для ідентифікаторів. Коли Flex обробляє цю специфікацію, він генерує код на C для лексера, який розпізнає ці токени. Змінна `yytext` містить відповідну лексему.

Обробка помилок у лексичному аналізі

Обробка помилок є важливою частиною лексичного аналізу. Коли лексер зустрічає недійсний символ або неправильно сформовану лексему, він повинен повідомити про помилку користувачеві. Поширені лексичні помилки включають:

• Недійсні символи: Символи, які не є частиною алфавіту мови (наприклад, символ `$` в мові, яка не дозволяє його в ідентифікаторах).
• Незавершені рядки: Рядки, які не закриті відповідними лапками.
• Недійсні числа: Числа, які сформовані неправильно (наприклад, число з кількома десятковими крапками).
• Перевищення максимальної довжини: Ідентифікатори або рядкові літерали, що перевищують максимально дозволену довжину.

При виявленні лексичної помилки лексер повинен:

1. Повідомити про помилку: Згенерувати повідомлення про помилку, яке включає номер рядка та номер стовпця, де сталася помилка, а також опис помилки.
2. Спробувати відновитися: Спробувати відновитися після помилки та продовжити сканування вхідних даних. Це може включати пропуск недійсних символів або завершення поточного токена. Мета — уникнути каскадних помилок і надати якомога більше інформації користувачеві.

Повідомлення про помилки повинні бути чіткими та інформативними, допомагаючи програмісту швидко виявити та виправити проблему. Наприклад, хороше повідомлення про помилку для незавершеного рядка може бути таким: `Помилка: Незавершений рядковий літерал у рядку 10, стовпці 25`.

Роль лексичного аналізу в процесі компіляції

Лексичний аналіз — це вирішальний перший крок у процесі компіляції. Його вивід, потік токенів, служить вхідними даними для наступної фази, парсера (синтаксичного аналізатора). Парсер використовує токени для побудови абстрактного синтаксичного дерева (АСД), яке представляє граматичну структуру програми. Без точного та надійного лексичного аналізу парсер не зміг би правильно інтерпретувати вихідний код.

Взаємозв'язок між лексичним аналізом та синтаксичним аналізом можна підсумувати наступним чином:

• Лексичний аналіз: Розбиває вихідний код на потік токенів.
• Синтаксичний аналіз: Аналізує структуру потоку токенів і будує абстрактне синтаксичне дерево (АСД).

АСД потім використовується наступними фазами компілятора, такими як семантичний аналіз, генерація проміжного коду та оптимізація коду, для створення кінцевого виконуваного коду.

Просунуті теми лексичного аналізу

Хоча ця стаття охоплює основи лексичного аналізу, існує кілька просунутих тем, які варто вивчити:

• Підтримка Unicode: Обробка символів Unicode в ідентифікаторах та рядкових літералах. Це вимагає більш складних регулярних виразів та технік класифікації символів.
• Лексичний аналіз для вбудованих мов: Лексичний аналіз для мов, вбудованих в інші мови (наприклад, SQL, вбудований в Java). Це часто включає перемикання між різними лексерами залежно від контексту.
• Інкрементальний лексичний аналіз: Лексичний аналіз, який може ефективно перескановувати лише ті частини вихідного коду, що змінилися, що корисно в інтерактивних середовищах розробки.
• Контекстно-залежний лексичний аналіз: Лексичний аналіз, де тип токена залежить від навколишнього контексту. Це може використовуватися для обробки неоднозначностей у синтаксисі мови.

Аспекти інтернаціоналізації

При розробці компілятора для мови, призначеної для глобального використання, враховуйте ці аспекти інтернаціоналізації для лексичного аналізу:

• Кодування символів: Підтримка різних кодувань символів (UTF-8, UTF-16 тощо) для обробки різних алфавітів та наборів символів.
• Форматування для конкретної локалі: Обробка форматів чисел та дат, специфічних для локалі. Наприклад, десятковий роздільник може бути комою (`,`) в деяких локалях замість крапки (`.`).
• Нормалізація Unicode: Нормалізація рядків Unicode для забезпечення послідовного порівняння та відповідності.

Неправильна обробка інтернаціоналізації може призвести до неправильної токенізації та помилок компіляції при роботі з вихідним кодом, написаним різними мовами або з використанням різних наборів символів.

Висновок

Лексичний аналіз є фундаментальним аспектом дизайну компіляторів. Глибоке розуміння концепцій, обговорених у цій статті, є важливим для кожного, хто займається створенням або роботою з компіляторами, інтерпретаторами чи іншими інструментами обробки мов. Від розуміння токенів та лексем до оволодіння регулярними виразами та скінченними автоматами, знання лексичного аналізу забезпечує міцну основу для подальшого вивчення світу створення компіляторів. Використовуючи генератори лексерів та враховуючи аспекти інтернаціоналізації, розробники можуть створювати надійні та ефективні лексичні аналізатори для широкого спектру мов програмування та платформ. Оскільки розробка програмного забезпечення продовжує розвиватися, принципи лексичного аналізу залишатимуться наріжним каменем технології обробки мов у всьому світі.